TextSeal2：基于Copula混合与无记忆竞速的无失真LLM水印
🧭 LLM水印·投机解码
Meta Superintelligence Labs
合并多密钥为虚拟密钥并结合无记忆指数竞速，使LLM水印在投机解码下保持无失真且检测率提升
📌 工作参考价值（4 点）
- 电商AIGC文案/广告/商品描述等场景可直接叠加无失真水印做内容溯源与反爬，TextSeal2证明水印不影响输出分布和多样性，不会牺牲文案质量。
- 多业务线共用同一LLM生成推荐理由或广告素材时，可将多个secret keys合并为单个虚拟key，统一检测且不稀释信号，便于集中部署水印验证服务。
- 若线上生成链路已用speculative decoding加速，TextSeal2的无记忆竞速机制保证加水印不改变acceptance rate、不引入延迟，可直接嵌入现有推理优化，无需改造采样内核。
- 检测信号可作为训练数据治理的风控输入，例如过滤AI生成的商品评论或UGC内容，防止污染推荐模型训练集。
基于变分解码的并行语言模型
🧭 并行解码 · 变分推断 · LLM 推理加速 ★ 深度解读
University of California, Irvine · ETH Zurich · Charité Berlin · Hasso Plattner Institute
用潜变量路由 token 间依赖，单次前向生成多个一致 token，实现接近自回归质量的 2.3-5.7 倍推理加速
📌 工作参考价值（4 点）
- 在线 LLM 服务加速：如果业务中大量调用 LLM 做搜索 query 改写、导购 Agent、商品文案生成，可尝试把现有 AR 模型改造成 PLM 风格的 block-parallel decoder；通过 β 调节质量/吞吐，SFT 时只对 response token 计算损失，保留 prompt 作为 context，直接复用到指令跟随与对话场景。
- 辅助变量 / Semantic ID 设计：Geometry-aware auxiliaries 使用 embedding 空间的加权 V oronoi 划分而非词表顺序，对生成式推荐中的 Semantic ID 构建有直接启发：用 item embedding 聚类/划分 codebook，比随机 ID 更保留语义，也能提高解码确定性。
- 偏好对齐可复用：PLM 的 DPO 用 response-restricted composite score 并做 length normalization，同时优化 AR encoder 与 parallel decoder；在电商 Agent 的 RLHF / DPO 流程中可以借鉴，避免并行解码分支在偏好优化后掉点。
- 工程验证点：relaxed speculative acceptance 相比严格 speculative decoding 接受率平均提升 46.5%，质量损失小；若迁移到 vLLM 服务，建议先在小参数模型上验证 2-5× QPS 提升，确认长 context、beam search 与自定义 attention mask 的兼容性。
接受不等于速度：训练自由有损推测解码中的长度膨胀
🧭 LLM 推理 · 推测解码效率评估
University of Waterloo
发现 relaxed 推测解码的接受 token 数增加会伴随生成长度膨胀和推理延长，使指标失真，应报告完成长度和验证轮数
📌 工作参考价值（4 点）
- 线上若用 LLM 生成推荐理由、搜索 query 改写、Agent 规划，并用 speculative decoding 加速，不要只报 accepted tokens per round；必须在墙钟时间前先验证是否出现输出长度膨胀，否则吞吐指标会虚高。
- 对预算受限的 Agent 任务（如多步工具调用、长推理链），lossy 验证可能接受低目标模型概率 token，导致推理啰嗦、max_tokens 耗尽而拿不到最终答案；建议优先使用 lossless 或对 token 概率设置更高门槛。
- 评估解码加速方案时，增加 completion length 和 verifier rounds 指标，并与线上真实延迟打点结合；可加长度惩罚、max_new_tokens 约束或后处理截断来控制膨胀。
- 若用于生成式商品文案、推送标题等，lossy 加速可能让输出变冗长，影响点击和转化；建议离线对比输出长度分布和任务指标，避免仅看 accept rate。
ReplaySSM：缓存 SSM 输入而非状态
🧭 LLM 推理加速 · SSM 状态缓存优化
Princeton University · NVIDIA
通过 checkpoint 加近期输入缓冲替代逐步状态读写，显著降低 SSM 状态 I/O 并支持高效投机解码与混合精度
📌 工作参考价值（4 点）
- 在线推理中若使用 Mamba-2、Gated DeltaNet 等 SSM 或混合模型，可参考 ReplaySSM 的 checkpoint + input buffer 设计，将状态更新从逐步改为周期性批量更新，减少约一半状态内存流量；直接降低首 token 延迟和长序列 decoding 成本，对搜索推荐场景中的 Agent 长链推理和工具调用尤其有用。
- 投机解码的 rollback 可以从复制/恢复完整状态改为只移动输入 buffer 的指针，极大降低回滚开销；在推荐系统里做批量候选生成或 LLM 推理时，可为投机验证阶段节省内存和计算，提高吞吐。
- 混合精度技巧：输出计算使用低精度 checkpoint，循环更新使用高精度 checkpoint，两个副本分离，避免量化误差进入后续 recurrent state。如果在线模型需要对状态做量化压缩，可采用此方法降低 KL 散度和下游效果损失。
- 工程实现上可以直接集成到 vLLM 等现有推理框架，不要求替换模型结构；业务中若已使用 vLLM 部署 SSM 或混合架构，可评估开启 ReplaySSM 获取 1.2-1.47x 标准解码加速或 1.8x 于投机解码的吞吐提升。
AgSpec：在编码代理流水线中突破检索型投机解码极限
🧭 编码多智能体流水线的检索式投机解码加速
KAIST
AgSpec通过三层语料检索与按Agent自适应草稿长度，将编码Agent流水线生成吞吐提升至自回归解码的4.37–4.76倍
📌 工作参考价值（4 点）
- 将多轮Agent交互历史、工作区文件、全局模板分层构建检索库，能提高生成式任务（如商品标题/详情、客服回复）中投机解码的draft命中率；索引时把原文转换为最终输出格式，避免格式不匹配导致验证拒绝。
- 不同Agent或生成任务的接受长度差异大：离线profile每个Agent/Task的draft长度上限，线上根据acceptance/verification feedback动态调长或调短，可避免固定草稿长度带来的overhead。
- 投机解码在batch=1和batch=16下都有显著吞吐提升，适合电商Agent低延迟交互和高并发批式生成两类场景；可在内部LLM推理框架中加入检索草稿模块，优先尝试session级检索再混合全局。
- 该方案不依赖额外训练，通过工程化语料与策略即可提升，适合现有Agent流水线快速集成，尤其是多轮、多智能体调用LLM的自动生成系统。
为 DeepSeek-V4 适配树形投机解码以提升推理效率
🧭 LLM 推理优化 · 树形投机解码 ★ 深度解读
Baige AI Team, Baidu Inc. · Fudan University
在 DeepSeek-V4 压缩注意力上实现树形投机解码，通过分支感知验证与状态刷新，吞吐最高提升约 18.5%
📌 工作参考价值（4 点）
- 在开放域低可预测的生成任务（对话式推荐、query 改写、广告文案生成）上，树形投机比线性投机吞吐提升更明显，batch 4 左右最优；线上可优先在这些场景开启。
- 若线上模型使用 KV cache 压缩/稀疏注意力，上 tree speculative decoding 不能只加 mask，必须隔离每个分支的压缩状态（scratch pad + 接受后刷新），否则会污染持久缓存上下文。
- 验证预算不是越大越好：研究中 D>6 后吞吐与接受长度脱钩，只涨质量不涨速度；工程上应根据 draft 能力和负载联合调 depth/width。
- 树形验证与 DSpark 类 draft 提质方案正交，可分开迭代：draft 侧负责候选质量，verify 侧负责分支利用，收益可叠加。
RheoSampling：解决随机动态树投机解码中的独热困境
🧭 LLM 投机解码推理加速
National Center for Mathematics and Interdisciplinary Sciences (NCMIS), AMSS, CAS · The University of Tokyo · Lenovo AI Technology Center · SKLMS and AMSS, Chinese Academy of Sciences · School of Mathematical Sciences, University of Chinese Academy of Sciences
通过解耦动态树构建与验证概率，首次实现上下文感知 top-K 动态树与随机采样兼得的无损投机解码
📌 工作参考价值（4 点）
- 线上 LLM 服务若采用投机解码加速，在 temperature>0 的生成式推荐/文案/对话场景，现有动态树方法会退化为 one-hot，导致接受率下降；RheoSampling 可作为随机采样下保持加速的参考实现，直接替换 EAGLE-3 等动态树 draft 策略。
- 其“构建概率”与“验证概率”解耦思路可迁移到其他需要在同一分布上同时做结构选择与质量评估的系统（如束搜索、MCTS 或推荐候选树生成），避免结构选择吃掉采样多样性。
- OT-based verification 和 sparse draft 机制对工程实现有借鉴：验证阶段用最优传输分配概率，稀疏 draft 减少无效分支，可降低延迟同时保持无损。
- 对于需要平衡多样性与效率的 Agent 多步推理/工具调用生成，该框架提供的等价类分析可作为分析随机树结构的新模板，帮助设计可证明无损的随机搜索策略。
TreeWY：Gated DeltaNet 混合模型的树结构投机验证
🧭 LLM 推理 · 投机解码状态压缩 ★ 深度解读
Thomson Reuters
用树结构 WY 变换消除 GDN 投机验证的逐节点状态快照，单次三角求解验证整棵草案树并只重建接受态
📌 工作参考价值（3 点）
- 如果在线上部署 Qwen3.5 这类 GDN+softmax hybrid 模型做推荐理由、广告文案、Agent 回复生成，开启 speculative decoding 前先检查 vLLM/SGLang 的 GDN 状态管理策略：默认 store-all 会在每个 draft 位置存完整 recurrent state，高并发下状态池/KV 池先爆；TreeWY / ReplaySSM 这类只存伪值或延迟物化状态的方法能把每请求状态块从 N+1 降到 1，直接抬高 admission batch。
- 工程选择上，chain 草案可以融合成 CUDA graph kernel，保持低 per-step overhead；树形草案目前会破坏 graph capture，导致 piecewise 执行，虽然接受长度提升但吞吐不一定划算。业务上先用 chain+MTP 拿稳健收益，树宽等框架融合优化后再上。
- 对 Agent 系统长会话/多请求并发，p99 TTFT 是用户感知关键指标。TreeWY 在 memory-bound 场景把 p99 TTFT 最高降约 40×（35B, 128 concurrency, gmu 0.6），因为不排队；若高峰期 KV 池饱和度常超过 80%，这类状态压缩比 draft 算法本身更影响尾延迟。
OasisKV：通过前瞻稀疏预取将解码KV缓存扩展至HBM之外
🧭 LLM推理优化 · 稀疏KV缓存与层次化预取
Imperial College London · KAIST · Microsoft Research · University of Edinburgh
利用推测解码提前预测重要KV块，实现稀疏注意力与多级预取，在有限HBM下提升推理吞吐达2.1倍
📌 工作参考价值（4 点）
- 结合推测解码与KV缓存管理：生成lookahead tokens时记录注意力，预测未来重要token，仅将稀疏的KV保留在HBM，可大幅减少显存占用，适用于长上下文服务（如用户行为序列、商品详情等需要长文本理解的场景）。
- 多级存储分层设计：冷KV块存于主机内存，通过异步流水线预取到HBM，避免解码延迟，可将HBM视为KV缓存的“热数据”缓存，类比推荐系统中的特征缓存策略。
- 基于vLLM实现，易于集成：工程上可直接在vLLM中扩展，业务中若使用vLLM部署LLM推理服务，可通过该稀疏预取方案提升吞吐，尤其适合批量推理和长序列场景。
- 显著降低KV传输与主机内存压力：在prefill-decode分离架构下，传输KV量减少6.5-9.7倍，解码节点内存减少2.2-2.6倍，可降低跨节点通信成本，利于大规模推荐Agent系统部署。
窗口化 MTP：消除百万级上下文中的全量草稿 KV 开销
🧭 推测解码 · 长上下文 KV 优化
NVIDIA
对推测解码草稿头施加窗口注意力，训练免费、无损地将长上下文草稿 KV 读取量降低 99%，推理加速 28–44%
📌 工作参考价值（4 点）
- 在长上下文生成式推荐/Agent 中降低延迟：当使用 LLM 生成推荐理由或进行多步推理时，若启用 MTP 推测解码，可直接将草稿头的注意力替换为窗口注意力，保留验证阶段全注意力，实现训练免费、无损的推理加速，尤其适合百万 token 级别的用户行为序列。
- 工程实现简单，即插即用：无需重新训练或调整模型结构，仅需在草稿注意力中添加滑动窗口和注意力槽（StreamingLLM 风格），可立即部署到现有 SGLang 等框架。
- 释放 GPU 显存用于更大批处理：窗口化草稿头可丢弃约 99% 的草稿 KV 缓存（实测占总量 7.7–11%），使用紧凑环形缓冲区回收，不影响接受准确率，支持更高的吞吐。
- 适用于混合注意力目标模型：当主模型使用混合线性注意力（如 Mamba2-hybrid）时，窗口化草稿头可避免其全注意力读取代价成为瓶颈，保持整体加速效果随上下文变长而放大。
CoTu 在 EXACT 2026 中的神经符号推理系统：透明教育问答
🧭 神经符号推理 · 程序化思维
Can Tho University · Tay Do University
4B 模型将推理外化为 Z3/Python 程序，物理满分、总技术分最高
📌 工作参考价值（4 点）
- 在 Agent 或推荐系统中，将 LLM 的推理步骤输出为可执行的 Python/Z3 代码，交由外部求解器，可大幅提升数值计算和逻辑推导的可靠性，避免幻觉。
- Program-of-Thought 范式可结合自我纠正循环：执行代码后若失败则自动回溯修正，适合多步任务（如自动生成广告竞价策略、动态定价脚本）。
- 任务路由设计：用一个轻量分类器选择“逻辑推理”或“数值计算”分支，此思路可直接用于电商搜索中的意图分发（如判别为“比较查询”或“政策查询”后走不同处理链）。
- 延迟敏感场景下，SGLang 框架 + 推测解码可保障 60s 内完成复杂多步推理，对推荐系统的实时生成式排序或 Agent 交互有工程参考价值。
DominoTree：基于Domino条件修正的推测解码树形起草
🧭 推测解码 · 条件树起草 ★ 深度解读
National Taiwan University
利用Domino的GRU路径依赖校正构建非因子化草稿树，在Qwen3-4B上平均加速达4.81倍，接受长度最高10.7 tokens
📌 工作参考价值（4 点）
- 推测解码中的树形搜索思想可迁移至推荐/Agent的候选生成：当评分函数依赖于已选序列（如用户行为路径）时，可借鉴DominoTree的条件堆展开方式，用轻量级修正网络（GRU）替代重跑完整encoder，降低分支成本。
- 将per-node昂贵的全词表投影限制到top-M候选（候选限制）是工程化关键技巧，在电商搜索的语义ID生成树或推荐多轮交互中，可类似使用预筛选缩小搜索空间。
- GPU-native builder（CUDA graph捕获与回放）展示了如何在不改变算法正确性的前提下，消除Python kernel launch开销，对需要频繁调用小算子的推理服务有直接参考价值。
- CondAdaptive的失败教训表明：若草稿模型的路径概率与目标模型接受率校准不当，自适应预算规则会退化为固定预算，提示我们在做动态裁剪时需验证概率估计的准确性。
无需训练的宽松投机解码实用研究
🧭 LLM推理加速 · 投机解码优化
Imperial College London · Graphcore
统一宽松投机解码框架，实证发现放松保真度需仔细能力评估，且依赖强草稿模型
📌 工作参考价值（4 点）
- 在电商搜索自动补全、对话推荐等延迟敏感场景，可尝试放松标准投机解码的无损约束以榨取更多加速，但必须针对具体任务（如Query推荐准确率、CVR）设计能力评估，在线灰度实验必不可少。
- 草稿模型必须是一个足够好的语言模型（如原LLM的压缩版或同架构小模型），不宜使用纯为多token预测设计的轻量专用草稿器，否则加速但质量崩坏。
- 统一框架中，Top‑k与Top‑p结合的接受准则在权衡中表现较鲁棒，可作为工程落地的起点，无需额外训练。
- 当线上主模型与草稿模型输出分布差异大时，放松策略可能引入难以察觉的降质，建议在离线多维度评测（困惑度、任务指标、人工评估）中模拟长尾请求，避免“平均加速好看但头尾体验分化”。
BlockPilot：基于扩散推测解码的实例自适应块大小策略学习
🧭 推测解码 · 实例自适应块大小
AMAP, Alibaba Group
提出从预填充表示学习预测最优块大小的策略，突破固定块限制，提升扩散推测解码效率
📌 工作参考价值（4 点）
- 在大模型在线推理（如对话式推荐、搜索 Agent）中，可集成该自适应策略，根据 prompt 的预填充特征动态选择最优块大小，无痛提升加速比，且预测开销极小。
- 方法即插即用，无需修改原扩散推测解码框架，适合在已有推理管道中快速部署，降低工程改动成本。
- 揭示了最优块大小的局部结构——集中在训练块尺寸附近，可据此设定搜索范围或剪枝预测类别数，简化策略学习。
- 对于需要低延迟响应的业务场景（如实时广告文案生成、个性化推送），该技术能有效减少端到端延迟，提升用户体验。
面向强化学习Rollout的系统感知自推测解码
🧭 LLM训练加速 · 自推测解码
FuriosaAI · University of California, Berkeley
系统感知自推测解码框架，自适应切换推测解码与草稿长度，将RL rollout延迟降低19.6%且不损失模型质量。
📌 工作参考价值（4 点）
- 在RL微调LLM（如GRPO/PPO）时，rollout生成是瓶颈，可直接采用自推测解码（self-speculative decoding）：从目标模型量化出轻量draft模型，无需额外训练，保持与进化策略分布对齐，降低工程维护成本。
- 系统感知的SD切换策略（toggle policy）根据批次大小和计算状态动态开启/关闭推测解码：只在内存密集、并行验证能利用闲置算力时启用，避免计算密集阶段引入额外开销。此动态调度思想可迁移到生产环境的在线推理加速中。
- 接受率感知的草稿长度自适应（acceptance-aware draft-length adaptation）：根据近期接受率动态调节每次推测的token数量，匹配draft质量变化，避免无效生成。类似机制可用于自适应调整推理时的speculative长度，降低延迟抖动。
- 整体框架强调系统级的协同设计，而不只是算法优化。做推荐/Agent类LLM应用时，若涉及线上更新或频繁微调，可考虑将系统负载感知纳入推测解码的调度策略，提升资源利用率。
少草稿，多检索：投机解码的混合树构建
🧭 投机解码 · 草稿树优化
Zhejiang University · Qwen Applications Business Group of Alibaba · University of Science and Technology of China
通过剪枝释放预算并用检索补偿，构建混合草稿树，打破稠密树与剪枝树的帕累托权衡
📌 工作参考价值（4 点）
- 推理加速的预算重新分配：将剪枝释放的 VRAM 与算力用于检索高预测性 token，适合电商搜索/推荐系统中低延迟生成场景的资源调度。
- 无损、免训练的即插即用：方法无需额外训练，可直接嵌入现有投机解码框架，对模型效果零损失，便于在 Agent 对话或推荐结果生成等在线服务中快速验证。
- 检索与生成的深度融合：通过拓扑嫁接将检索 token 无缝插入树结构，启发在生成式推荐中，利用外部知识库或高频序列库补充生成草稿，提升命中率。
- 长上下文与大规模模型的稳定增益：在 235B 大模型和 64K 长序列上表现突出，为电商大模型（如商品描述生成、多轮对话）的实时推理提供高效加速方案。